从生理学的多模式情绪识别,由于不可能在行为反应上控制它们,因此受到越来越多的关注,因此提供了更可靠的信息。现有的基于深度学习的方法仍然依赖于提取的手工制作的功能,不充分利用神经网络的学习能力,并且通常采用单模式方法,而人类情感本质上以多峰方式表达。在本文中,我们提出了一个配备了包含参数化超复合乘法的新型融合模块的超复杂多模式网络。的确,通过在超复杂域中运行操作遵循代数规则,该规则允许在学习的特征维度之间对laTent的关系进行建模,从而更有效地进行融合步骤。我们采用了公开可用的数据库Mahnob-HCI,对脑电图(EEG)和PERIPH的生理信号进行了价值和唤醒分类。我们的工作代码可在https://github.com/ispamm/mhyeeg上免费获得。
主要关键词